文本查重文本复制检测技术 |
您所在的位置:网站首页 › python 文本查重 › 文本查重文本复制检测技术 |
在研究目前文档复制检测技术的基础上,对比基于字符串比较和基于词频统计的两类方法,确定基本的检测方案:进而设计合适的文档存储和对比策略,实现在较大规模的文档库中快速查找相似度达到一定阈值的文档。 (1)基于字符串比较方法的研究:以Sif工具的方法为基础,实现基于字符串比较的相似文本检测; (2)基于词频统计的方法的研究:以SCAM方法为基础,实现基于词频统计的文本查重检测,并与方法(1)进行对比,分析两者的优缺点,选择其中一种作为后续研究的基本查重方法 (3)研究大规模文档的存储策略和相似文本查找策略,实现一个有一定实用价值的文本复制检测系统。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |